大山川が刻んだ切り立った崖に守られた大山城は、七区におよぶ曲輪に土塁と空堀を配し、それに櫓台、虎口、武者隠しなどの施設を設けた大規模な城でした。この城は、平坦な台地を数条の堀によって区切り、直線的に曲輪を並べる変わった構造をもっており、非常に均整のとれた形態を見せています。大山城の代々の城主は、鎌倉時代に地頭として武蔵国から入ってきた中沢氏でした。中沢氏は池尻谷に本拠地を構えたようですが中世期には大山城に本拠地を移したと推定されます。こののち一族は国人として動乱の戦国期を生き抜きますが、天正年間の明智光秀による丹波攻めによって、ついには滅びてしまいます。落城およそ百年後に記された「大山村古跡覚書」には、大山城城主であった中沢孫十郎重基が光秀に従わず大山城に籠城したが戦に利なく天正6年8月15日に自刃し家臣の向井左近が首を落としたと伝えています。